Validação de escala de avaliação de profissionalismo traduzida e adaptada em cenário de simulação / Validation of a translated and adapted professionalism assessment scale in a virtual simulation scenario

Resumo: Introdução: O Professionalism Mini-Evaluation Exercise (P-MEX) é instrumento que avalia 21 habilidades de profissionalismo, distribuídas em quatro domínios. Objetivo: Este estudo teve como objetivos traduzir, adaptar e validar um instrumento de avaliação de profissionalismo médico. Método: Após a autorização do autor do P-MEX, realizaram-se a tradução do instrumento para a língua portuguesa, a análise de equivalência linguística e validade de conteúdo por especialistas em educação, e o exame de validade operacional em OSCE virtual entre estudantes do internato médico. Resultado: Houve elevada equivalência dos itens da versão em português do Brasil por especialistas em educação. O índice de validade de conteúdo da escala foi de 0,96. Seis professores validaram o P-MEX em ambiente de simulação para 27 estudantes do internato médico. Conclusão: A versão brasileira do P-MEX demonstrou ser adequada para avaliar o profissionalismo médico no contexto brasileiro, com boa validade operacional em cenário de simulação virtual.

Abstract: Introduction: "Professionalism Mini-Evaluation Exercise" (P-MEX) is an instrument that assesses 21 professionalism skills, distributed in four domains. Objective: To translate, adapt and analyze the validity of the medical professionalism evaluation exercise. Methods: After authorization from the author, the following tasks were performed: translation into Portuguese; linguistic equivalence and content validity analysis by education experts; operational validity analysis in virtual OSCE among medical clerkship students. Results: There was high equivalence of the items in the Brazilian Portuguese version by education specialists. The Scale Content Validity Index was 0.96. Six teachers validated the P-MEX in a simulation environment to 27 medical clerkship students. Conclusion: The Brazilian version of the P-MEX proved to be adequate to assess medical professionalism in the Brazilian context, and showed good operational validity in a virtual simulation scenario.

Como avaliar programas de residência a partir do Teste de Progresso? / How can residency programs be evaluated based on the Progress Test?

Resumo: Introdução: Embora o conhecimento especializado seja um elemento fundamental para a prática médica qualificada, não há, na maioria das especialidades, uma avaliação cognitiva unificada dos médicos residentes, e, consequentemente, não é possível verificar o conhecimento agregado durante o treinamento pelos programas de residência médica (PRM). O Teste de Progresso (TP) oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Em 2018, a Febrasgo implementou o Teste de Progresso Individual do Residente em Ginecologia e Obstetrícia (TPI-GO), que tem sido aplicado em todo o Brasil. Relato de experiência: Este estudo descritivo se refere ao acompanhamento longitudinal dos residentes que iniciaram a participação no TPI-GO em 2018 como R1 (n = 497) e concluíram a participação em 2020 como R3 (n = 314). O desempenho desses residentes no TPI-GO serviu de base para analisar o perfil de 32 PRM localizados nas Regiões Sul (28,1%), Sudeste (68,8%) e Centro-Oeste (3,1%), sendo identificados cinco diferentes perfis de PRM em relação ao desempenho dos residentes iniciantes, diferenças de desempenho entre R3 e R1 e desempenho dos concluintes. Discussão: No Brasil, não são oferecidas avaliações abrangentes e unificadas de conhecimento aos médicos residentes na maioria das especialidades, e consequentemente ainda não é possível incorporar essas informações na avaliação dos PRM. No modelo aqui apresentado, o desempenho dos residentes no TP possibilita inferir sobre o processo seletivo, o conhecimento agregado pelo PRM ao longo do treinamento e o nível de conhecimento dos concluintes, sendo reconhecidos PRM qualificados (tipo 1) e PRM que necessitam de melhorias (tipos 2, 3, 4 e 5). Conclusão: O TP oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Por meio do modelo aqui apresentado, é possível obter informações para subsidiar decisões institucionais que promovam melhorias dos PRM e do seu processo de formação na especialidade.

Abstract: Introduction: Although specialized knowledge is a fundamental element for qualified medical practice, in most specialties, there is no unified cognitive assessment of resident physicians, and it is impossible to verify the knowledge gained during training in Medical Residency Programs (MRPs). The Progress Test (PT) provides an opportunity to evaluate MRPs based on the performance of the residents. In 2018, Febrasgo applied the Resident Progress Test in Gynecology and Obstetrics (TPI-GO) throughout Brazil. Experience report: This descriptive study refers to the longitudinal follow-up of residents who started participating in the TPI-GO in 2018 as R1 (n=497) and completed their participation in 2020 as R3 (n = 314). The performance of these residents in the TPI-GO served as a basis for analyzing the profile of 32 MRPs located in the South (28.1%), Southeast (68.8%), and Central-West (3.1%) regions of Brazil, with five different identified PRM profiles in relation to the performance of beginner residents, differences in performance between R3 and R1 and the performance of residency graduates. Discussion: In Brazil, comprehensive and unified assessments of knowledge are not offered to resident physicians in most specialties, and consequently, it is not yet possible to incorporate this information into the assessment of MRPs. In the model presented here, the performance of residents in the PT enables one to make inferences about the selection process, the knowledge added by the MRP throughout the training, and the level of knowledge of the graduates, being recognized as qualified MRPs (type 1) and MRPs that need improvement (types 2, 3, 4 and 5). Conclusion: The PT offers an opportunity to evaluate MRPs based on the performance of their residents. Through the model presented here, it is possible to obtain information to support institutional decisions that promote improvements in MRPs and their training process in the specialty.

Abordagens de aprendizado e sua correlação com ambiente educacional e características individuais em escola médica / Learning approaches and their correlation with the teaching environment and individual characteristics in medical school

Resumo: Introdução: A qualidade de aprendizado de estudantes de escolas médicas tem sido tema recorrente da literatura mundial nas últimas décadas, mas há escassez de estudos nacionais acerca do assunto. O ambiente de ensino deve favorecer o aprendizado profundo, por estar intimamente relacionado com uma aprendizagem significativa. Metodologias ativas de aprendizagem são vinculadas a maior qualidade de aprendizado, por propiciarem ambiente favorável ao aprendizado profundo. Objetivo: Este estudo teve como objetivos avaliar a qualidade do aprendizado de estudantes de Medicina de um curso que adota metodologias ativas de aprendizagem e correlacioná-la com as percepções dos alunos acerca do ambiente educacional e com dados sociodemográficos. Método: Trata-se de estudo descritivo transversal realizado com estudantes do curso de Medicina da Universidade Federal de São Carlos (UFSCar), do primeiro ao sexto ano. Foram utilizados os instrumentos R-SPQ-2F, DREEM e questionário sociodemográfico. Realizou-se análise descritiva, e compararam-se as frequências por meio do teste do qui-quadrado ou teste exato de Fisher. As diferenças entre médias foram avaliadas por meio de teste t de Student ou teste de Mann-Whitney, quando se compararam somente dois grupos, ou por meio de análise de variância (ANOVA) ou teste de Kruskal-Wallis, quando comparados mais de dois grupos. As associações entre as variáveis quantitativas foram verificadas por meio do coeficiente de correlação de Pearson ou de Spearman. A análise estatística foi realizada com auxílio do programa IBM SPSS Statistics versão 25.0, e adotou-se como parâmetro de significância um valor de p < 0,05. Resultado: Entrevistaram-se 226 alunos. A pontuação média para abordagem profunda foi de 33,52 e, para a abordagem superficial, 17,42. Em relação à percepção do ambiente educacional, a média foi de 129,77 pontos. As variáveis objetivas que demonstraram influência sobre o aprendizado foram: sexo, idade de início do curso, contato prévio com metodologias ativas, prática de idiomas, ter graduação ou pós-graduação prévia, receber auxílio financeiro de familiares e ano da graduação. Conclusão: As metodologias ativas de aprendizagem podem estimular a adoção de estratégias de aprendizado profundo. O estudo dos fatores que influenciam na abordagem de aprendizado é complexo e envolve questões individuais subjetivas.

Abstract: Introduction: The quality of learning of medical students has been a recurring subject of research in recent decades, but there are scarce national studies on it. The learning environment should encourage deep learning, as it is intimately related to meaningful learning. Active learning methods are linked to better quality of learning, since they provide a favorable environment for deep learning. Objective: The aim of this study was to evaluate the quality of learning of students at a medical school that adopts active learning methods for all course years and correlate it to students' views on educational environment and sociodemographic data. Method: This is a cross-sectional descriptive study with 1st to 6th-year medical students from the Federal University of São Carlos. The R-SPQ-2f, DREEM and sociodemographic questionnaires were applied. Descriptive analysis was performed, and frequencies were compared using chi-square test or Fisher's exact test. Differences between means were evaluated with either Student's t-test or Mann-Whitney's test, when comparing only two groups, and with one-way analysis of variance (ANOVA) or Kruskal-Wallis' test, when comparing more than two groups. Associations between quantitative variables were verified with either Pearson's or Spearman's correlation coefficient. Statistical analysis was performed with IBM SPSS Statistics version 25.0. For significance, p-value<0.05 was adopted. Result: 226 students were interviewed. The average deep learning score was 33.52 points, and, for superficial learning, 17.42 points. As for how the environment was perceived, the average score was 129.77. The objective variables that showed influence in learning were sex, course start age, previous contact with active learning methods, language study, previous undergraduate training, or post-graduate degree, receiving financial help from family and current course year. Conclusion: Active learning methods may stimulate the adoption of deep learning strategies. The evaluation of factors that influence study approaches is complex, involving subjective individual parameters.

O uso do logbook e do portfólio nos programas de rtesidência / Use of logbook and portfolio in residency programs

O Logbook pode ser definido como um recurso por meio do qual os residentes documentam as experiências clínicas durante seus estágios.(1) O registro dos atendimentos e procedimentos pode ser efetuado tanto em papel quanto no formato eletrônico. Em muitos países onde foi implementado o Logbook eletrônico (e-logbook), os residentes recebem acesso individual ao sistema no qual devem registrar a sua experiência cirúrgica ao longo de todo o treinamento. Anual ou semestralmente, o Logbook é avaliado pelo supervisor, sendo esse um dos critérios para a progressão do residente no programa.

Cross-Cultural Adaptation of the Communication Assessment Tool for Use in a Simulated Clinical Setting.

Construct: The Communication Assessment Tool (CAT) is a 14-item instrument developed in English to assess medical trainees' interpersonal communication skills from the patient's perspective in clinical settings. Background: Using validated instruments and simulated patients constitutes good practice in assessing doctor-patient communication. The CAT was designed for use in real practice, but has not yet been applied to assessing OB-GYN residents' delivery of bad news in Objective Structured Clinical Examination (OSCE) stations. This study aims to provide validity evidence for using the CAT to assess residents' interpersonal communication skills under difficult circumstances in a simulated clinical setting in Brazil. Approach: Cross-cultural adaptation comprised translation into Portuguese, synthesis of translations, and back-translation. Next, a committee of 10 external and independent experts rated the items for linguistic equivalence and relevance to the overall scale. Researchers used the expert ratings to produce a preliminary Brazilian-Portuguese version. This version was applied by four simulated patients to assess 28 OB-GYN residents completing two, 10-minute OSCE stations focused on delivering bad news. Item and scale content validity indices and internal-consistency reliability were calculated. Simulated patients were interviewed to clarify any doubt regarding the content and usability of the tool and their response process. Findings: Thirteen of the 14 items in the Brazilian-Portuguese version were considered "equivalent" by at least 70% of the experts. All items were considered relevant by 100% of the experts. The Item Content Validity Index ranged from .9 to 1, and the Scale Content Validity Index was .99. The instrument showed good reliability for both scenarios (Cronbach's alpha > .90). Simulated patients considered the CAT easy to understand and complete. Conclusions: This study provides validity evidence for using the Brazilian-Portuguese CAT in a simulated clinical environment to assess OB-GYN residents' delivery of bad news. Based on this study's findings, the OB-GYN Department organized an annual formative assessment for residents to improve their interpersonal communication skills. This version of the CAT may also be applicable to other specialties.

Avaliação de Habilidades de Comunicação em Ambiente Simulado na Formação Médica: Conceitos, Desafios e Possibilidades / Assessment of Communication Skills in the Simulated Environment of Medical Training: Concepts, Challenges and Possibilities in Medical Education

RESUMO Na comunidade acadêmica internacional, a comunicação eficaz entre profissionais de saúde, pacientes e seus familiares é reconhecida como condição indispensável para a qualidade dos cuidados em saúde. No Brasil, as Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina estabelecem que o egresso deve ser preparado para se comunicar por meio de linguagem verbal e não verbal, com empatia, sensibilidade e interesse, promovendo o cuidado centrado na pessoa e uma relação horizontal e compartilhada com o paciente. Para alcançar esses objetivos, faz-se preciso a implementação de atividades curriculares que promovam o desenvolvimento dessa habilidade e avaliem a sua aquisição durante a graduação em Medicina. A habilidade em se comunicar adequadamente não pode ser aprendida apenas por observação e tende a declinar ao longo do curso. Recomenda-se que seu ensino se estenda de modo coerente a todos os níveis de formação, incluindo os internatos e programas de residência. Na avaliação de habilidades de comunicação, especialistas recomendam que seja instituída uma matriz que permita repetidas oportunidades de avaliação e feedback, reforçando o uso das habilidades mais básicas de entrevista até as mais complexas, como a comunicação de más notícias. Dessa maneira, para um ensino e avaliação eficientes, são necessários métodos e instrumentos com sólida fundamentação teórica. Atividades em ambiente simulado com a participação de pacientes padronizados têm sido amplamente utilizadas para o ensino e a avaliação dessa habilidade durante a consulta clínica. Nesse contexto, programas de desenvolvimento docente são fundamentais para que estratégias eficazes de ensino e avalição sejam implementadas e permitam ao futuro médico a aquisição de habilidades essenciais ao ético exercício profissional. Este artigo propôs-se a uma revisão narrativa sobre avaliação de habilidades de comunicação em ambiente simulado apresentando seus conceitos, desafios e possibilidades. Também aborda aspectos práticos para a organização desse tipo de avaliação.

ABSTRACT In the international academic community, effective communication between health professionals, patients, and their families are recognized as an indispensable condition for the quality of health care. In Brazil, the National Curriculum Guidelines for Undergraduate Medical Schools established that medical students should be prepared to communicate through verbal and non-verbal language, with empathy, sensitivity and interest, promoting patient-centered care, and a horizontal and shared relationship with the patient. To achieve these goals, it is necessary to implement curricular activities that promote the development of this skill and assess its acquisition during undergraduate medical school. Adequate communication skills cannot be learned by observation alone and tend to decline as medical students progress through their medical education. For the assessment of communication skills, experts recommend a framework that allows for repeated assessment and feedback opportunities, reinforcing the use of the most basic interviewing skills to the most complex ones, such as communicating bad news. Thus, for an efficient assessment, methods and instruments with a solid theoretical basis are necessary. Thus, activities in a simulated environment with the participation of standardized patients have been widely used for the teaching and assessment of these skills during the clinical consultation. In this context, faculty development programs are fundamental for effective teaching and assessment strategies to be implemented and allow the future doctors to acquire essential skills for their professional practice. This article proposes a narrative review of communication skills assessment in a simulated environment regarding its concepts, challenges, and possibilities. It also discusses practical aspects for the organization of this type of assessment.

Breaking Bad News Training Program Based on Video Reviews and SPIKES Strategy: What do Perinatology Residents Think about It? / Programa de treinamento para comunicação de más notícias baseado em revisão de vídeos e na estratégia SPIKES: o que pensam os residentes de perinatologia?

Abstract Objective Resident doctors usually face the task to communicate bad news in perinatology without any formal training. The impact on parents can be disastrous. The objective of this paper is to analyze the perception of residents regarding a training program in communicating bad news in perinatology based on video reviews and setting, perception, invitation, knowledge, emotion, and summary (SPIKES) strategy. Methods We performed the analysis of complementary data collected from participants in a randomized controlled intervention study to evaluate the efficacy of a training program on improving residents' skills to communicate bad news. Data were collected using a Likert scale. Through a thematic content analysis we tried to to apprehend the meanings, feelings and experiences expressed by resident doctors in their comments as a response to an open-ended question. Half of the group received training, consisting of discussions of video reviews of participants' simulated encounters communicating a perinatal loss to a "mother" based on the SPIKES strategy. We also offered training sessions to the control group after they completed participation. Twenty-eight residents who were randomized to intervention and 16 from the control group received training. Twenty written comments were analyzed. Results The majority of the residents evaluated training highly as an education activity to help increase knowledge, ability and understanding about breaking bad news in perinatology. Three big categories emerged fromresidents' comments: SPIKES training effects; bad news communication in medical training; and doctors' feelings and relationship with patients. Conclusions Residents took SPIKES training as a guide to systematize the communication of bad news and to amplify perceptions of the emotional needs of the patients. They suggested the insertion of a similar training in their residency programs curricula.

Resumo Objetivo Médicos residentes, em geral, enfrentam a tarefa de comunicarmás notícias em perinatologia sem um treino formal prévio. O impacto nos pais pode ser desastroso. O objetivo deste artigo é analisar as percepções dos residentes sobre um programa de treinamento para a comunicação de más notícias em perinatologia baseado na revisão de vídeos e na estratégia SPIKES. Métodos Analisamos os dados complementares coletados dos participantes de um estudo de intervenção controlado e aleatorizado que avaliou a eficácia de umprograma de treinamento para ampliar as habilidades dos residentes em comunicarmás notícias. Os dados foram coletados utilizando um questionário em escala Likert. Através da análise temática de conteúdos buscamos apreender os significados, sentimentos e experiências descritos nos comentários dos residentes em resposta a uma questão aberta avaliando o treinamento. Metade do grupo recebeu treinamento, que consistiu de discussões do vídeo da consulta simulada de cada participante em que ele comunicava uma perda perinatal para uma "mãe" baseado na estratégia SPIKES. Ofereceu-se treinamento também para o grupo controle após encerraram sua participação na pesquisa. Vinte e oito residentes aleatorizados para a intervenção e 16 do grupo controle receberam treinamento. Vinte comentários escritos foram analisados. Resultados A maioria dos residentes avaliou o treinamento como uma ótima atividade educativa para ajudá-los a aumentar conhecimento, habilidades e compreensão sobre o processo de comunicar más notícias em perinatologia. Três grandes categorias emergiram dos comentários: Efeitos do treinamento SPIKES, comunicação de más notícias no treinamento médico; e os sentimentos dos médicos e sua relação com os pacientes. Conclusão Residentes de perinatologia entenderam o treinamento SPIKES como um guia para sistematizar a comunicação de más notícias e ampliar suas percepções sobre as necessidades emocionais dos pacientes. Eles sugeriram que treinamentos similares fossem inseridos nos currículos dos programas de residência.

Breaking Bad News Training Program Based on Video Reviews and SPIKES Strategy: What do Perinatology Residents Think about It?

Objective Resident doctors usually face the task to communicate bad news in perinatology without any formal training. The impact on parents can be disastrous. The objective of this paper is to analyze the perception of residents regarding a training program in communicating bad news in perinatology based on video reviews and setting, perception, invitation, knowledge, emotion, and summary (SPIKES) strategy. Methods We performed the analysis of complementary data collected from participants in a randomized controlled intervention study to evaluate the efficacy of a training program on improving residents' skills to communicate bad news. Data were collected using a Likert scale. Through a thematic content analysis we tried to to apprehend the meanings, feelings and experiences expressed by resident doctors in their comments as a response to an open-ended question. Half of the group received training, consisting of discussions of video reviews of participants' simulated encounters communicating a perinatal loss to a "mother" based on the SPIKES strategy. We also offered training sessions to the control group after they completed participation. Twenty-eight residents who were randomized to intervention and 16 from the control group received training. Twenty written comments were analyzed. Results The majority of the residents evaluated training highly as an education activity to help increase knowledge, ability and understanding about breaking bad news in perinatology. Three big categories emerged from residents' comments: SPIKES training effects; bad news communication in medical training; and doctors' feelings and relationship with patients. Conclusions Residents took SPIKES training as a guide to systematize the communication of bad news and to amplify perceptions of the emotional needs of the patients. They suggested the insertion of a similar training in their residency programs curricula.

Objetivo Médicos residentes, em geral, enfrentam a tarefa de comunicar más notícias em perinatologia sem um treino formal prévio. O impacto nos pais pode ser desastroso. O objetivo deste artigo é analisar as percepções dos residentes sobre um programa de treinamento para a comunicação de más notícias em perinatologia baseado na revisão de vídeos e na estratégia SPIKES. Métodos Analisamos os dados complementares coletados dos participantes de um estudo de intervenção controlado e aleatorizado que avaliou a eficácia de um programa de treinamento para ampliar as habilidades dos residentes em comunicar más notícias. Os dados foram coletados utilizando um questionário em escala Likert. Através da análise temática de conteúdos buscamos apreender os significados, sentimentos e experiências descritos nos comentários dos residentes em resposta a uma questão aberta avaliando o treinamento. Metade do grupo recebeu treinamento, que consistiu de discussões do vídeo da consulta simulada de cada participante em que ele comunicava uma perda perinatal para uma "mãe" baseado na estratégia SPIKES. Ofereceu-se treinamento também para o grupo controle após encerraram sua participação na pesquisa. Vinte e oito residentes aleatorizados para a intervenção e 16 do grupo controle receberam treinamento. Vinte comentários escritos foram analisados. Resultados A maioria dos residentes avaliou o treinamento como uma ótima atividade educativa para ajudá-los a aumentar conhecimento, habilidades e compreensão sobre o processo de comunicar más notícias em perinatologia. Três grandes categorias emergiram dos comentários: Efeitos do treinamento SPIKES, comunicação de más notícias no treinamento médico; e os sentimentos dos médicos e sua relação com os pacientes. Conclusão Residentes de perinatologia entenderam o treinamento SPIKES como um guia para sistematizar a comunicação de más notícias e ampliar suas percepções sobre as necessidades emocionais dos pacientes. Eles sugeriram que treinamentos similares fossem inseridos nos currículos dos programas de residência.